a) Update the property in relevant mapred-site.xml(from where client load the config). b) Import ...

ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基 ...

近來在做項目中的技術調研，使用最新版的hdp3.1,其中使用spark2.3和hive 3.1. 遇到 一些問題，記錄如下： 一，使用spark-sql client driver去訪問hive創 ...

日常運維 升級 問題處理方法 日常運維 進程管理 由於配置文件的更改，需要重啟生效， 或者是進程自己因某種致命原因終止， 或者發現進程工作出現異常等情況下，需要進行手動進程的關閉或啟動， ...

CDH安裝的ZK，三個節點，基本都是默認配置，一直用得正常，今天出現問題，客戶端連接超時6倍時長，默認最大會話超時時間是一分鍾。原因分析：1.首先要確認網絡正確。確認時鍾同步。2.查看現有的配置，基本 ...

我本機安裝的環境是centos7，並在本機上安裝了zookeeper,hadoop,hbase,hive等組件， 使用pdi7.1來連接hbase，把mysql表中的數據導出到hbase中去，沒有問 ...

1 硬件選擇 主要區分NAMENODE與DATANODE的功能需求，NN維護全局元數據信息，隨着保存的INODES數量的增加，對內存需求增加，按每一百萬INODES一G來粗略計算，JVM的XMX參數 ...

dremio,spark-sql,presto和ranger的整合 當前，ranger沒有現成的插件來管理dremio,spark-sql,presto。 暫時使用的方法是新建一個用戶，如prest ...

今天遇到一個錯誤，ＪＡＶＡ堆棧如下： 是在獲取文件系統對象的時候出錯，沒有找到環境變量　　HADOOP_HOME or hadoop.home.dir ，但是在本地一直沒有重現這個問題。 這個 ...

1.講講你做的過的項目, 項目里有哪些難點重點呢？ kafkaDirect ES /hive kafka producer 難點值得一提的有兩點： 1.rdd中用到外部變量的時候如何處 ...